Lê Xuân Hựu kết hôn lần đầu với bà Bùi Thị Minh Hòa (1899 - 1940) (con gái ông Bùi Phát Tường - tuần phủ Hưng Yên) và có với nhau 3 người con:

1. Lê Thị Minh Thuần (1928-), hiện định cư tại Hoa Kỳ.
2. Lê Quý Túc (1932-), cán bộ đại đoàn 320, tham gia chiến dịch Điên Biên Phủ.
3. Lê Xuân Minh (1937-), cán bộ, trợ lý kĩ thuật nông trường quân đội Tây Bắc.

Sau khi bà Minh Hòa mất, năm 1940, ông tái hôn với bà Trần Thị Diệm. Ông bà có năm người con:

1. Lê Quang Ngọc (tức Trần Mạnh Ngọc) (1940-)
2. Lê Thu Hằng (1942-)
3. Lê Xuân Hiểu (1944-)
4. Lê Xuân Hải (1947-)
5. Lê Xuân Hiền (1949-)